#LLM 최적화

LLM 초저비트 양자화 툴킷 AutoRound

대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)을 위한 고급 양자화 툴킷인 AutoRound가 소개되었습니다. 이 도구는 부호 기반 경사 하강법(Sign-gradient descent)을 활용하여 2~4비트의 초저비트 환경에서도 높은 정확도를 유지하며 빠르고 저렴하게 모델을 최적화할 수 있습니다. 또한 주요 인퍼런스 프레임워크인 vLLM, SGLang, Transformers 등과 원활하게 통합되어 활용성이 매우 뛰어납니다.

미국 이커머스 AI 유입 393% 폭증…매출도 끌어올려

Adobe의 최신 데이터에 따르면, 소비자들의 AI 쇼핑 어시스턴트 활용이 늘어나면서 미국 소매업체 웹사이트의 AI 트래픽과 전환율이 급증했습니다. AI를 통한 유입 고객은 일반 고객보다 체류 시간이 길고 구매 전환율도 높아져, 이제는 실제 매출 증대의 핵심 동력으로 자리 잡았습니다. 다만, AI가 상품 페이지에 제대로 접근하지 못하는 경우도 많아 기업들의 최적화(LMO)가 시급하다는 지적이 나왔습니다.